Địa bàn xã Gia Hòa 2 trước đây là một phần xã Gia Hòa thuộc huyện Mỹ Xuyên.

Ngày 7 tháng 7 năm 1982, Hội đồng Bộ trưởng ban hành Quyết định 111-HĐBT[4]. Theo đó, chia xã Gia Hòa thành hai xã lấy tên là xã Gia Hòa Tây và xã Gia Hòa Đông.

Tuy nhiên, đến ngày 16 tháng 9 năm 1989, Hội đồng Bộ trưởng ban hành Quyết định 128-HĐBT. Theo đó, giải thể các xã Gia Hòa Đông và Gia Hòa Tây để thành lập hai xã lấy tên là xã Gia Hòa 1 và xã Gia Hòa 2.